Tu według chrześcijańskich podań pracował, nauczał i rozmawiał z gronem swoich sympatyków św. Paweł, goszczony przez Pryskę i jej męża Akwilę.  Kilka dziesięcioleci później, w czasach cesarza Trajana (89–117), powstał w tym miejscu pokaźny dom wraz z nimfeum. Jego resztki można zobaczyć, wychodząc z nawy po prawej stronie kościoła i docierając do zewnętrznej klatki schodowej prowadzącej do podziemi. Dochodzi się do niego, mijając pozostałości monumentalnych granitowych kolumn, zapewne należące do znajdującej się ongiś nieopodal świątyni Diany.  W części antycznych zabudowań powstało pod koniec II wieku mitreum, które w 220 roku poszerzono o boczne kaplice. Pomimo że kult Mitry nie był w cesarstwie oficjalnie akceptowany, nie był też tępiony. Szczególnie bujnie rozwinął się w II i III stuleciu naszej ery. Jedno z mitreów znajdowało się w podziemiach dzisiejszego kościoła. To pomieszczenie o beczkowym sklepieniu ozdobiono wyobrażeniem nieboskłonu z zaznaczonymi znakami zodiaku, co wiązało się z kosmologicznymi ideami tej religii. Sama forma sanktuarium mitrańskiego nawiązuje zawsze do jaskini, miejsca, w którym narodzić się miał ze skały bóg Mitra. Dlatego pomieszczenia te pozbawione są na ogół źródła światła, oświetlają je jedynie pochodnie i lampki oliwne. Tu ma ono kształt czworokąta i zakończone jest absydą, w której onegdaj znajdował się ołtarz. Widzimy cząstkowo zachowany relief przedstawiający Mitrę – nagiego młodzieńca w pelerynce, z frygijską czapką na głowie, zabijającego byka – owego prabyka, pierwszą istotę na ziemi, która utożsamiana była z siłami ciemności i zła. Mitra wysłany został przez swego boskiego ojca dla ratowania świata, rodził się każdego roku 25 grudnia i umierał, aby ponownie zmartwychwstać. W momencie, gdy Mitra wbija nóż w kark byka – w akcie będącym ukoronowaniem jego trudów – towarzyszą mu kruk, pies, lew i wąż, spijające krew zwierzęcia, oraz wsysający się w jego genitalia skorpion. Symbolika tych stworzeń jest trudna do jednoznacznej interpretacji. Napis na ścianie – „Ty nas zbawiłeś, rozlewając wieczną krew” – oznacza zapewne, że przez ofiarę z byka przezwyciężone zostały siły zła. Na ścianach dostrzegamy też malowidła: procesję mężczyzn w kolorowych szatach i zoomorficznych maskach, które symbolizować mają siedem kręgów wtajemniczenia. Procesja ta odwołuje się zapewne do ceremonii inicjacji, której poddawani byli wszyscy pragnący wejść w krąg wtajemniczonych. Część znalezisk z tego mitreum znajduje się obecnie w dwóch muzeach. Wspaniały relief ukazujący Mitrę przechowywany jest w Museo Nazionale Romano alle Terme, natomiast fragmentarycznie zachowana głowa Heliosa (boga słońca), wykonana z cienkich marmurowych płytek (opus sectile), znalazła się w Museo Nazionale Romano, Palazzo Massimo.

Gdy w 392 roku chrześcijaństwo stało się w Rzymie religią państwową, rozpoczęto niszczenie miejsc kultów pogańskich, w tym kultu Mitry, i oddawanie tych przybytków przedstawicielom religii chrześcijańskiej. Najczęściej na zniszczonych ruinach tworzono świątynie dla nowych bohaterów wiary – męczenników. Tak stało się i tutaj. W 499 roku miejsce to w dokumentach kościelnych widnieje już jako tituli – titulus Aquila e Prisca. Na zgliszczach mitreum stanęła z czasem mała świątynia poświęcona św. Prysce, której jednak zmieniono biografię. Z towarzyszki św. Pawła stała się legendarną, umęczoną przez pogan dziewicą. Pozostałości tej świątyni (podziemną kryptę) możemy zobaczyć w drodze do mitreum.

Krypta ma kształt litery T, a jej ściany i prowadzące do niej korytarze w XVII wieku ozdobiono freskami. W ołtarzu krypty znajdują się też rzekome relikwie samej Pryski. Nie wiemy dokładnie, kiedy krypta powstała, ani kiedy zbudowano pierwszą wczesnochrześcijańską świątynię w tym miejscu. Najwcześniejsze wzmianki o niej pochodzą z 777 roku, gdy z polecenia papieża Hadriana I przeprowadzono pierwszą restaurację kościoła. W tym czasie powstał tu klasztor przeznaczony dla greckich mnichów uchodzących z Palestyny (podobnie jak przy kościele San Saba). Później zamieszkiwali tu benedyktyni, którzy ostatecznie opuścili to miejsce po pożarze na początku XV wieku. Kościół uległ wtedy daleko idącej dewastacji – zniszczone zostały trzy przęsła nawy, w wyniku czego w połowie tegoż stulecia budynek został skrócony i odbudowany, za papieża Kaliksta III, już w zmniejszonych proporcjach. I mimo że papież ofiarował go franciszkanom, ci – w obawie przed malarią – nie zdecydowali się tu zamieszkać. Ostatecznie przekazano go dominikanom, którzy zajmowali pobliski klasztor przy kościele Santa Sabina i tu stworzyli swą drugą siedzibę. Następną renowację przeprowadzono w 1600 roku dzięki finansowemu wsparciu kardynała Benedetta Giustinianiego. Ze zburzonych naw (lewej i głównej) powstał dziedziniec, a w zachowanej prawej zbudowano zakrystię. Wzniesiono prostą, manierystyczną fasadę, a wnętrze w partii nadarkadowej udekorowano freskami ukazującymi świętych i anioły trzymające narzędzia Męki Pańskiej.  Manierystyczne freski – ze scenami  męczeństwa i pochówku Pryski – pojawiły się również na łuku triumfalnym transeptu i na ścianach prezbiterium. Z tego czasu pochodzi też obraz w ołtarzu głównym, przedstawiający świętą w pozie pełnej skruchy i oddania, w momencie przyjmowania chrztu z rąk św. Piotra – dzieło Domenico Crestiego (Il Passignano).

Ostatecznie w 1660 roku miejsce dominikanów zajęli augustianie. Grożące zawaleniem wnętrze kościoła odremontowano ponownie w XVIII wieku – sklepienie zastąpiono płaskim sufitem, stare kolumny o doryckich kapitelach obmurowano.

Do interesujących obiektów należy znajdująca się tu, po lewej stronie, chrzcielnica, w której zgodnie z chrześcijańską tradycją św. Piotr dokonał chrztu Pryski. W rzeczywistości jest to pozostałość antycznej kolumny, którą od XIII wieku przysposobiono do tej funkcji. Jej otwór dekoruje współczesna rzeźba ukazująca chrzest Chrystusa.

Podziemia można zwiedzać w 2. i 4. sobotę miesiąca tylko z przewodnikiem, po wcześniejszej rezerwacji.